10.大模型推理框架

2023年openAi直接带动了大模型的整体行业发展，现在整理了常用的大模型推理的知识点和文章。

推理框架

1. FasterTansformer (opens new window)
2. LLama FasterTranformer (opens new window)
3. 模型部署与推理(框架工具-Triton Server、RayLLM、OpenLLM) (opens new window)
4. LmDeploy部署大模型
5. LLM推理后端性能大比拼，来自BentoML团队的深度评估！ (opens new window)

大模型部署

1. 基于 Docker 的深度学习环境：入门篇 (opens new window)
2. 使用 Docker 快速上手官方版 LLaMA2 开源大模型 (opens new window)